Probability, Unit 4 Discrete random variables

这次回顾第四单元，这一讲介绍了离散随机变量。

课程主页：https://ocw.mit.edu/resources/res-6-012-introduction-to-probability-spring-2018/index.htm

edx版本：https://www.edx.org/course/probability-the-science-of-uncertainty-and-data-0

Part 1：课程回顾

常见随机变量

伯努利随机变量

$X=\left\{\begin{array}{ll}{1,} & {\text { w.p. } p} \\ {0,} & {\text { w.p. } 1-p}\end{array}\right.$

其中$p \in[0,1]$。期望和方差为

$\begin{aligned} \mathbf E[X]&= p\\ \operatorname{var}(X)&=p(1-p) \end{aligned}$

离散均匀随机变量

给定整数$a\le b$，样本空间为$\{a, a+1, \ldots, b\}$，随机变量$X(\omega)=\omega$，分布列为

$p_X(x)=\frac 1 {b-a+1}, x\in \{a, a+1, \ldots, b\}$

期望和方差为

$\begin{aligned} \mathbf E[X]&= \frac {a+b} 2\\ \operatorname{var}(X)&=\frac{1}{12}(b-a)(b-a+2) \end{aligned}$

几何随机变量

给定参数$p : 0<p \leq 1$，$p$为硬币正面出现的概率，随机变量$X$为连续投硬币，直至正面出现所需的投掷次数，所以分布列为

$p_{X}(k)=(1-p)^{k-1} p, \quad k=1,2, \cdots$

期望和方差为

$\begin{aligned} \mathbf E[X]&= \frac 1 p\\ \operatorname{var}(X)&=\frac {1-p}{p^2} \end{aligned}$

泊松随机变量

$p_{X}(k)=\mathrm{e}^{-\lambda} \frac{\lambda^{k}}{k !}, \quad k=0,1,2, \cdots$

期望和方差为

$\begin{aligned} \mathbf E[X]&= \lambda\\ \operatorname{var}(X)&= \lambda \end{aligned}$

期望

定义

对于离散随机变量，定义其期望为

$\mathbf{E}[X]=\sum_{x} x p_{X}(x)$

这里假设

$\sum_{x}|x| p_{X}(x)<\infty$

性质

$\mathbf{E}[a X+b]=a \mathbf{E}[X]+b$
$\mathbf{E}[g(X)]=\sum_x g(x)p_X(x)$
如果$X\ge 0$，那么$\mathbf{E}[X] \geq 0$
如果$a \leq X \leq b$，那么$a \leq \mathbf{E}[X] \leq b$
如果$c$是常数，那么$\mathbf{E}[c]=c$

方差和标准差

定义

方差的定义为

$\operatorname{var}(X)=\mathbf{E}\left[(X-\mu)^{2}\right]=\mathbf{E}\left[X^{2}\right]-(\mathbf{E}[X])^{2}$

标准差为

$\sigma_{X}=\sqrt{\operatorname{var}(X)}$

性质

对于$Y=a X+b$，其期望和方差为 $\mathbf{E}[Y]=a \mathbf{E}[X]+b, \quad \operatorname{var}(Y)=a^{2} \operatorname{var}(X)$

条件分布列与期望

假设$A$为某事件，$\mathbf P(A)>0$。随机变量$X$在给定$A$发生的条件下的条件分布列为

$p_{X | A}(x)=\mathrm{P}(X=x | A)$

满足

$\sum_{x} p_{X | A}(x)=1$

条件期望的定义为

$\begin{array}{l}{\mathbf{E}[X | A]=\sum_{x} x p_{X | A}(x)} \\\end{array}$

类似的我们有

${\mathbf{E}[g(X) | A]=\sum g(x) p_{X | A}(x)}$

对于随机变量，定义

$p_{X | Y}(x | y)=\mathrm{P}(X=x | Y=y)$

给定$Y=y$的条件下$X$的条件期望为

$\mathbf{E}[X | Y=y]=\sum x p_{X | Y}(x | y)$

利用全期望公式，我们有

$\mathbf{E}[X]=\sum_{\boldsymbol{y}} p_{Y}(y) \mathbf{E}[{X} | {Y}=y]$

假设$A_{1}, \cdots, A_{n}$是互不相容的事件并构成样本空间的分割，假设$\mathbf P(A_i)>0$，那么

$\mathbf{E}[X]=\sum_{i=1}^{n} \mathrm{P}\left(A_{i}\right) \mathrm{E}\left[\boldsymbol{X} | A_{i}\right]$

如果事件$B$满足$\mathrm{P}\left(A_{i} \cap B\right)>0$，那么

$\mathbf{E}[X | B]=\sum_{i=1}^{n} \mathbf{P}\left(A_{i} | B\right) \mathbf{E}\left[X | A_{i} \cap B\right]$

几何分布的无记忆性

假设$X$服从参数为$p$的几何分布，在$X>n$的条件下，$X-n$服从参数为$p$的几何分布

证明：

$\begin{aligned} p_{X-n|X>n}(X-n=k| X>n) &= \frac{p(X=n+k,X>n)}{p(X>n)}\\ &= \frac{(1-p)^{n+k-1}(1-p)}{(1-p)^{n}}\\ &=(1-p)^{k-1}p \end{aligned}$

利用该性质计算期望：

$\begin{aligned} \mathbf E[x] &=1+ \mathbf E[x-1] \\ &=1+p\mathbf E[x-1 | x=1]+(1-p) \mathbf E[x-1 | x>1] \\ &=1+0+(1-p)\mathbf E[x] \\ \mathbf E[x]&= \frac 1 p \end{aligned}$

多个随机变量的联合分布列

定义两个随机变量的联合PMF为

$p_{X, Y}(x, y)=\mathbf{P}(X=x \text { and } Y=y)$

由此可以推出

$\begin{array}{l}{\sum_{x} \sum_{y} p_{X, Y}(x, y)=1} \\ {p_{X}(x)=\sum_{y} p_{X, Y}(x, y)} \\ {p_{Y}(y)=\sum_{x} p_{X, Y}(x, y)}\end{array}$

对于$g(X,Y)$，我们有

$\mathbf{E}[g(X, Y)]=\sum_{x} \sum_{y} g(x, y) p_{X, Y}(x, y)$

多于两个随机变量的情形也可以推广，特别的，我们有

$\mathbf{E}\left[X_{1}+\cdots+X_{n}\right]=\mathbf{E}\left[X_{1}\right]+\cdots+\mathbf{E}\left[X_{n}\right]$

独立性

我们称$X$相对于事件$A$独立，如果

$p_{X | A}(x)=p_{X}(x)对一切x成立$

称$X,Y$为相互独立的随机变量，如果

$p_{X, Y}(x, y)=p_{X}(x) p_{Y}(y)对一切x,y成立$

如果$X,Y$相互独立，那么

$\begin{aligned} &\mathbf{E}[X Y]=\mathbf{E}[X] \mathbf{E}[Y]\\ &\mathbf{E}[g(X) h(Y)]=\mathbf{E}[g(X)] \mathbf{E}[h(Y)]\\ &\operatorname{var}(X+Y)=\operatorname{var}(X)+\operatorname{var}(Y) \end{aligned}$

Part 2：理论习题

1

注意

$\cup_{k=1}^{n} A_{k} 发生\Leftrightarrow \prod_{i=1}^n (1-X_i)=0 \Leftrightarrow 1-\prod_{i=1}^n (1-X_i)=1$

所以

$\begin{aligned} \mathrm{P}\left(\cup_{k=1}^{n} A_{k}\right) &= \mathrm E \left[ 1-\prod_{i=1}^n (1-X_i)\right] \\ &=1 - \mathrm E \left[ \prod_{i=1}^n (1-X_i)\right] \\ &=\sum_{i \in S_{1}} \mathrm{P}\left(A_{i}\right)-\sum_{\left(i_{1}, i_{2}\right) \in S_{2}} \mathrm{P}\left(A_{i_{1}} \cap A_{i_{2}}\right) +\sum_{\left(i_{1}, i_{2}, i_{3}\right) \in S_{3}} \mathrm{P}\left(A_{i_{1}} \cap A_{i_{2}} \cap A_{i_{3}}\right)-\cdots+(-1)^{n-1} \mathrm{P}\left(\cap_{k=1}^{n} A_{k}\right) \end{aligned}$

2

假设投掷硬币的次数为$X$，第$i$次硬币为正面的事件为$H_i$，反面的事件为$T_i$，那么

$\begin{aligned} \mathrm{E}[X]=p \mathrm{E}\left[X | H_{1}\right]+q \mathrm{E}\left[X | T_{1}\right] \end{aligned}$

接着考虑$\mathrm{E}\left[X | H_{1}\right]$，我们有

$\mathrm{E}\left[X | H_{1}\right] =p\mathrm{E}\left[X | H_{1} H_2\right] +q\mathrm{E}\left[X | H_{1} T_2\right]=2p + q (1 +\mathrm{E}\left[X | T_{1}\right] )$

同理计算$\mathrm{E}\left[X | T_{1}\right]$可得

$\mathrm{E}\left[X | T_{1}\right] =p\mathrm{E}\left[X | T_{1} H_2\right] +q\mathrm{E}\left[X | T_{1} T_2\right]=p(1 +\mathrm{E}\left[X | H_{1}\right] ) +2q$

解得

$\begin{aligned} \mathrm{E}\left[X | T_{1}\right] &=\frac{2+p^{2}}{1-p q} \\ \mathrm{E}\left[X | H_{1}\right] &=\frac{2+q^{2}}{1-p q} \end{aligned}$

所以

$\begin{aligned} \mathrm{E}[X] &=p \cdot \frac{2+q^{2}}{1-p q}+q \cdot \frac{2+p^{2}}{1-p q} \\ &=\frac{2(p+q)+pq(p+q)}{1-pq}\\ &=\frac{2+pq}{1-pq} \end{aligned}$

3

(a)注意到该不等式等价于

$\begin{aligned} H(X) +\sum_{i=1}^{n} p_{i} \log q_{i} &=\sum_{i=1}^{n} p_{i} \log q_{i}-\sum_{i=1}^{n} p_{i} \log p_{i}\\ &= \sum_{i=1}^{n} p_{i} \log \frac{q_{i}}{p_i} \\ &\le 0 \end{aligned}$

利用不等式

$\ln \alpha \le \alpha -1$

我们可得

$\begin{aligned} p_{i} \log \frac{q_{i}}{p_i} &\le p_i \left(\frac{q_{i}}{p_i}-1\right) \\ \sum_{i=1}^{n} p_{i} \log \frac{q_{i}}{p_i} &\le \sum_{i=1}^{n}p_i \left(\frac{q_{i}}{p_i}-1\right)\\ &= \sum_{i=1}^n q_i - \sum_{i=1}^n p_i\\ &=0 \end{aligned}$

所以结论成立。

利用原不等式等号成立的条件，我们得到该不等式等号成立的条件为

$q_i =p_i$

(b)注意到

$\sum_{x} \sum_{y} p_{X}(x) p_{Y}(y)=1$

由(a)可得

$\sum_{x} \sum_{y} p_{X, Y}(x, y) \log \left(p_{X, Y}(x, y)\right) \geqslant \sum_{x} \sum_{y} p_{X, Y}(x, y) \log \left(p_{X}(x) p_{Y}(y)\right)$

等号成立的条件为

$p_{X, Y}(x, y) = p_{X}(x) p_{Y}(y)$

(c)

$\begin{aligned} I(X, Y) &=\sum_{x} \sum_{y} p_{X, Y}(x, y) \log p_{X, Y}(x, y)-\sum_{x} \sum_{y} p_{X, Y}(x, y) \log \left(p_{X}(x) p_{Y}(y)\right) \\ &=\sum_{x} \sum_{y} p_{X, Y}(x, y) \log p_{X, Y}(x, y)- \sum_{x} \sum_{y} p_{X, Y}(x, y) \log (p_X(x))- \sum_{x} \sum_{y} p_{X, Y}(x, y) \log (p_Y(y))\\ &=-H(X,Y) -\sum_{x} p_X(x)\log (p_X(x)) -\sum_{x} p_Y(x)\log (p_Y(x))\\ &=-H(X,Y)+ H(X) +H(Y) \end{aligned}$

(d)

$\begin{aligned} I(X, Y)= & \sum_{x} \sum_{y} p_{X, Y}(x, y) \log \left(p_{X, Y}(x, y)\right)-\sum_{x} p_{X}(x) \log p_{X}(x) -\sum_{x} \sum_{y} p_{X, Y}(x, y) \log p_{Y}(y) \\=& H(X)+\sum_{x} \sum_{y} p_{X, Y}(x, y) \log \left(\frac{p_{X, Y}(x, y)}{p_{Y}(y)}\right) \\=& H(X)+\sum_{x} \sum_{y} p_{Y}(y) p_{X | Y}(x | y) \log p_{X | Y}(x | y) \\=& H(X)-H(X | Y) \end{aligned}$